An Impression-based Visualization Technique for Music Collections

Thanks to recent evolution of multimedia technology, we used to store tunes in computers or audio players. The more tunes computers store, the more difficult it is to search the tune they want. This paper proposes a tool that assists to search for the demanded tunes based on impression, not based on metadata (e.g. title and/or artist name). The technique first extracts features of tunes, and then generates impression pictures of the tunes automatically, so that users can recognize the impression of tunes instantly and intuitively. At the same time, it hierarchically clusters the tunes based on the features. It finally visualizes the music data by using the impression pictures. Keyword KANSEI, visualization, impression, musical feature, clustering. 1. 概要 音楽の再生機材として PCやポータブル音楽プレイ ヤーが主流になり,その内蔵記憶装置(ハードディス クや半導体メモリ)の記憶容量の増大に伴い,個人が 保有する楽曲数が膨大化している.これにより,ユー ザが聴きたい楽曲を見つけるのが困難になることが多 くなると考えられる.多くの場合においてユーザは, 曲名やアーティスト名などのメタデータをもとに楽曲 を検索する.しかし,これらのメタデータに頼らすに, 旋律や調性などの楽曲特徴や印象に基づいて楽曲を検 索する技術には,まだ検討の余地があると考えられる. 例えばカフェやバーのBGMの選曲のように,楽曲のタ イトルやアーティストにこだわらず,場所,時間,状 況によるムードに基づいて楽曲を選曲したい場面があ るとする.あるいはユーザが,アーティストや作曲者 に関わらず,ある楽曲について似た曲調の楽曲を見つ けたい場合があるとする.このような場合には,楽曲 を印象に基づいて分類し,特定の印象を有する楽曲群 を簡単に提示できるツールがあると便利である. 以上の背景に基づいて本報告では,膨大な楽曲をメ タデータに依存することなく,楽曲そのものの特徴か ら,印象に基づいて整理,分類し,わかりやすく一覧 表示するツールを提案する. 2. 関連研究 2.1. 音と感性 感性語による音楽データベース探索システムに関 する研究 [1]では,楽曲データのサンプリング個数や周 波数強度の値に対して,感性語との相関性をそれぞれ 求め,楽曲の特徴と感性語の関係を,ニューラルネッ トワークを用いて検出している. コレスポンデンス分析による楽曲の特徴認識 [2]で は,楽曲に対する印象を表す形容詞を評価することに よって,音楽の特徴認識には【重い―軽やかさ】,【ス ピードのある―ゆったりしている】,【power のある― power のない】という 3 軸で認識すると述べている. 2.2. 色と感性 色空間と感性の反映方法 [3]では,単色刺激から受け る 感 性 情 報 の 因 子 と し て Evaluation( 評 価 性 ) , Potency(力量性あるいは潜在性 ),Activity(活動性ある いは躍動性 )があること , また 2 色配色の刺激から受け る感性情報の因子として Harmony(調和性)が存在す ることを述べている.このことから,色を用いて感性 を表現することが可能であると考えられる. カラーシステム [4]では,色を warm-cool 軸,soft-hard 軸からなる 2 次元の感性空間に配置することによって, 印象を表現している.その際感性空間における単色配 色の分布には偏りがみられ.感性空間に色が存在しな い領域が存在する.一方多色配色では,感性領域全体 を補うことができる.また多色配色では,色の多様な 組み合わせ,色相やトーンの違い,清色や濁色の違い により,様々な効果が生まれる.このことから単色配 色よりも多色配色の方が,色の選択に十分な検討が必 要だが的確な印象を表現できる. 2.3. 楽曲の印象と画像 印象の合う画像で楽曲を表現する手法に MIST[5]が ある.MIST ではサンプルとなる楽曲や画像に対して, その感性語適合度をユーザに回答させ,楽曲や画像の 特徴量との相関性を学習させる.それを基に任意の楽 曲や画像の感性語適合度を自動算出し,楽曲の印象に 適した画像をアイコンとして表示する. Music icons[6]では,ニューラルネットワークを用い て適した幾何学模様の画像を選択している. Music icons は予め用意した画像を選択しており,本研究では 印象画像を自動生成することを目的としている. 2.4. 楽曲選択の支援 D. Liu[7]は,楽曲を音量,リズム,音質に基づいて 階層的にクラスタリング手法を提案している.この手 法ではまず,音量によって高階層クラスタを生成した 後,リズム,音質で低階層クラスタを生成する.しか し本手法は楽曲分類に専念するものであり,表示方法 は提案していない. ユーザによる楽曲選択を支援するインタフェース 技術として,Musicream[8]が提案されている.この手 法では,マウス操作によって特定の楽曲と類似した楽 曲をくっつける機能を有する. 3. 処理手順 本手法では楽曲データとして CD に採用されている 音響データ書式 (wav ファイル )を用いて, (1)楽曲の特 徴量の検出, (2)印象画像の生成, (3)クラスタリング, (4)一覧表示の 4 段階に従って処理を施す. 3.1. 特徴量検出 楽曲データから特徴量を検出する.我々は表 1 に示 す特徴量を,MIRtoolbox[9]を用いて検出している. 楽曲には,次第に曲の印象が変わるものや,一つの 楽曲に複数の印象を合わせ持った曲があり,楽曲全体 の特徴量を一つに定めるのは困難である.そこで,一 つの画像を生成するには一定区間ごとに特徴量を検出 する.次第に楽曲が変化する場合は各区間の特徴量の 平均値をその楽曲全体の特徴量とし,特定の時刻から 明確に印象が変わる楽曲に対しては,印象が変化する 前と後に分けて複数の特徴量を 1 曲の特徴量とする. 現段階では,楽曲の中間部のある 5 秒間から得た特徴 量を楽曲全体の特徴量として暫定的に定めている. 表 1.楽曲特徴